Christian Terwiesch e Ethan Mollick, professores da Wharton, analisam o ChatGPT e explicam por que o controverso software program tem um potencial ilimitado para melhorar a educação, os negócios e uma série de setores.
professor Wharton Christian Terwiesch disse que “se apaixonou” pelo ChatGPT depois de ler sua resposta a uma pergunta do exame em seu curso de pós-graduação em gerenciamento de operações.
O professor colocou a questão no controverso novo chatbot como parte de um experimento para ver como o software program se comportaria em um teste típico. Quando solicitado a explicar o processo de gargalo em uma hipotética fábrica de minério de ferro na América Latina, o ChatGPT aceitou.
“Uau! A resposta não está apenas correta, mas também explicada de maneira soberba”, escreveu Terwiesch em um recente papel branco sobre seu experimento. “Não vejo motivos para tirar pontos desta resposta: A+!”
O ChatGPT está nas manchetes desde que foi lançado em novembro pelo OpenAI, principalmente porque pode ser usado pelos alunos para colar nas tarefas de casa e nos exames. O software program de inteligência synthetic, que a OpenAI disponibilizou ao público, pode produzir respostas escritas de alta qualidade para perguntas complexas em questão de segundos. Alguns sistemas de escolas públicas, incluindo Nova York e Seattle, já proibiu o uso do ChatGPT em seus dispositivos e redes.
As preocupações com o plágio são legítimas, disse Terwiesch. Mas o professor, que preside o Departamento de Operações, Informações e Decisões e é codiretor do Instituto Mack para Gestão da Inovação, vê potencial expansivo na inteligência synthetic do chatbot. Com sua incrível velocidade e precisão, o ChatGPT pode ser uma ferramenta poderosa para melhorar o processo de ensino, personalizar o aprendizado, tornar os negócios mais eficientes e economizar um tempo precioso que poderia ser usado de forma mais produtiva por humanos.
“Temos uma nova tecnologia no jogo agora, e seria uma pena se tudo o que pudéssemos fazer como sociedade fosse ser tão bom quanto éramos antes de ter essa tecnologia”, disse Terwiesch. Wharton Enterprise Every day no SiriusXM. “Isso vai ser grande e há motivos para acreditar que vimos apenas o começo.”
professor de administração da Wharton Ethan Mollick compartilha dessa crença. Em um artigo de opinião para Harvard Enterprise Evaluation, ele escreveu que o ChatGPT é um “ponto de inflexão” na inteligência synthetic. A tecnologia é muito melhor do que as iterações anteriores, tornando-a mais do que apenas um brinquedo inteligente. Uma ampla gama de pessoas e indústrias pode usá-lo para conquistar o mundano e se libertar para se concentrar em trabalhos e inovações mais importantes.
“Isto é um muito grande coisa”, escreveu Mollick. “As empresas que entenderem o significado dessa mudança – e agirem primeiro – terão uma vantagem considerável.”
Mollick apresentou seus alunos de empreendedorismo ao chatbot durante uma aula. Antes do ultimate da aula, um aluno o usou para criar um código para um protótipo de startup usando bibliotecas de código que eles não tinham visto antes.
“Eles concluíram um projeto de quatro horas em menos de uma hora”, escreveu Mollick.
Bom o suficiente para obter um B menos
O white paper de Terwiesch conquistou atenção da mídia com seu título intrigante, “Would Chat GPT Get a Wharton MBA?” A resposta é um sólido “sim”, com o professor dando ao chatbot uma nota ultimate de B a B-menos por seu desempenho em um experimento de cinco perguntas que ele projetou. Embora o bot tenha obtido notas máximas na primeira pergunta sobre gargalos, ele não se saiu tão bem em todas as perguntas. Surpreendentemente, teve o pior desempenho quando solicitado com uma pergunta que exigia cálculos matemáticos simples.
“Em alguns problemas, a matemática foi horrível”, disse Terwiesch. “Se você pensar em seu computador, ele pode ser estúpido e burro em muitas coisas, mas pelo menos fará a matemática certa. Isso foi o oposto.”
Suas principais conclusões do experimento são:
- O ChatGPT faz um trabalho incrível em questões básicas de gerenciamento de operações e análise de processos, incluindo aquelas baseadas em estudos de caso. As respostas estão corretas e as explicações são excelentes.
- O ChatGPT às vezes comete erros em cálculos relativamente simples em matemática da sexta série. Esses erros podem ser enormes em magnitude.
- A versão atual não é capaz de lidar com questões de análise de processos mais avançadas, mesmo quando elas são baseadas em modelos razoavelmente padronizados.
- O ChatGPT é notavelmente bom em modificar suas respostas em resposta a dicas humanas. Nos casos em que inicialmente falhou em combinar o problema com a solução certa, o ChatGPT foi capaz de se corrigir depois de receber uma dica apropriada de um humano. Ainda mais notável, parece ser capaz de aprender com o tempo para que no futuro a dica não seja mais necessária.
Terwiesch também queria determinar se o ChatGPT poderia criar perguntas para exames, uma tarefa que ele realiza há 25 anos como professor.
“Depois de um quarto de século no cargo, esgotei todas as barbearias e restaurantes e todos os ambientes que você possa imaginar”, disse ele rindo. “Fiquei desesperado por algum conselho criativo, então fiz dois experimentos.”
O software program cuspiu algumas perguntas interessantes e bem formuladas que foram até um pouco engraçadas. Mas Terwiesch disse que eles exigiam um refinamento substancial antes que pudessem ser usados em um exame. Ainda assim, mostra o que é possível com o ChatGPT.
“Ainda tenho que fazer algum trabalho, mas sinto que mesmo no estado atual do mundo, tem a oportunidade de aumentar minha produtividade e também a produtividade de nossos alunos”, disse ele.
Mollick ecoou esse sentimento em seu artigo de opinião da HBR, escrevendo que as empresas poderiam economizar tempo e recursos usando a tecnologia para gerar comunicação escrita para clientes e partes interessadas ou criar conjuntos de dados personalizados, e os educadores poderiam usá-la para gerar um programa de estudos ou notas de aula.
Mas Mollick adverte que o ChatGPT tem problemas e limitações – e certamente não é mágico.
“Por um lado, é uma besteira consumada, e quero dizer isso em um sentido técnico”, escreveu ele. “Bullshit é um absurdo que soa convincente, desprovido de verdade, e a IA é muito boa em criá-lo. Você pode pedir para descrever como sabemos que os dinossauros tiveram uma civilização, e alegremente criará todo um conjunto de fatos explicando, de forma bastante convincente, exatamente isso. Não é um substituto para o Google. Ele literalmente não sabe o que não sabe, porque, na verdade, não é uma entidade, mas sim um algoritmo complexo que gera sentenças significativas.”
De volta à sala de aula
Apesar das promessas da IA, as preocupações com a trapaça permanecem. Terwiesch disse que a preocupação o levou a pensar mais profundamente sobre por que os professores testam em primeiro lugar. Ele apresentou três razões: 1) certificar uma habilidade; 2) personalizar a jornada de aprendizagem para cada aluno; e 3) fazer com que o aluno se envolva com o materials por conta própria e desenvolva habilidades de pensamento crítico.
O ChatGPT e softwares semelhantes podem ajudar com todos os três, disse ele, embora compartilhe preocupações sobre a trapaça e tenha se juntado ao crescente número de educadores que proíbem seu uso em tarefas e testes de casa. Ele quer garantir que seus alunos ainda tenham conhecimento básico em um assunto.
Terwiesch incentiva educadores e gerentes de negócios a explorar maneiras de usar o software program para “elevar o nível”. Em vez de ajustar o antigo, estudantes e trabalhadores podem ser desafiados a criar algo totalmente novo.
“Não vamos colocar a pasta de dente de volta no tubo”, disse ele. “Essa tecnologia está lá fora. Só vai crescer. A ideia de que poderíamos voltar ao velho mundo nunca funciona.”
Este artigo foi reimpresso com permissão de Data@Wharton.
